草庐IT

php - PHP 网页抓取

全部标签

javascript - 使用 Javascript 在网页上显示另一台计算机的时间?

这个问题在这里已经有了答案:Clockonwebpageusingserverandsystemtime?(8个答案)关闭9年前。我正在开发一个对时间非常敏感的Web应用程序。给我的业务规则之一是应用程序的行为必须始终取决于Web服务器上的时间,而不管客户端的时钟是什么时间。为了让用户清楚这一点,我被要求在Web应用程序中显示服务器的时间。为此,我编写了以下Javascript代码:clock=(function(){varhours,minutes,seconds;functionsetupClock(updateDisplayCallback){getTimeAsync(getTi

Unity-WebGL基于JS实现网页录音

   因为该死的Unity不支持WebGL的麦克风,所以只能向网页借力,用网页原生的navigator.getUserMedia录音,然后传音频流给Unity进行转AudioClip播放。   还有一点非常重要:能有同事借力就直接问,厚着脸皮上,我自己闷头两天带加班,不如同事谭老哥加起来提供帮助的俩小时,很感谢他,虽然是他们该做的,但我一直没提出,而且我方向错了😂😂😂版本:Unity:2021.3.6f1Github库:UnityWebGLMicrophone相关代码Unity端的.cs .jslib和WebGL端的.js..jslibWebGLRecorder.jslib这个需要放在Unit

javascript - 我怎么知道我是在点击网页上 png 的透明部分还是非透明部分?

我们有一个多年前在Flash中开发的测验,它使用点击区域来确定是否有人点击了图像的适当部分(想想“解剖测验”)。这些命中区域的轮廓非常繁琐,无法重复使用轮廓坐标数据...现在,我们正尝试用HTML重新做这件事--所以,我们有一个股骨的背景图像和一个png,它在Z顺序中位于更高的位置,其中一部分完全透明,而其他部分有50%的灰色。这用于告诉学生背景股骨图像上的什么地方。我希望能够在“测验模式”中使用来自该pngmask层的数据来确定学生是否正确点击了股骨的特定部分...我正在考虑设置maskpng到100%透明度(因此学生看不到它),但如果浏览器知道他们点击了图像的正确区域(即蒙版上10

javascript - 为什么一个按钮会导致我的整个网页重新加载?

我有一个正在使用jQuery处理的网页。我的页面上的某些元素出现不稳定的行为:每次单击页面上的任何按钮时,页面都会刷新。该页面必须以某种方式运行一些代码,以便在每次单击按钮时重新加载该页面。我完全无法弄清楚代码在哪里绑定(bind)到点击处理程序,所以我想知道是否可以在运行时枚举附加到按钮的处理程序列表。更新:阅读下面给出的答案后,我在页面中更改了一行:SaveandContinue为此: 最佳答案 这是按钮的默认行为。如果你想改变它,做这样的事情:$("buttonselector").click(function(event){

javascript - 使用 phantomjs 和 Jquery 登录网页

一般来说,我是phantomjs、Java脚本和WebScraping的新手。我想做的是基本的http身份验证,然后访问另一个URL以获取一些信息。这是我到目前为止所拥有的。请告诉我我做错了什么。varpage=require('webpage').create();varsystem=require('system');page.onConsoleMessage=function(msg){console.log(msg);};page.onAlert=function(msg){console.log('alert!!>'+msg);};page.settings.userName

javascript - 如何访问网页中每个资源的性能对象?

我可以在Chrome开发者工具中看到网页中所有资源的加载时间、从服务器获取特定资源所需的时间以及其他信息。我想使用JavaScript捕获这些统计数据。怎么可能?有可用的window.performance对象,但仅适用于请求的页面,不适用于页面资源。有没有办法访问所有页面资源的性能对象。 最佳答案 您应该能够使用window.performance.getEntries()获取特定于资源的统计信息:varresource=window.performance.getEntries()[0];console.log(resource

javascript - 抓取数据、 headless 浏览器和 Python

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭9年前。Improvethisquestion所以我是一名CS学生,正在尝试学习网络抓取以及随之而来的所有该做和不该做的事情。在弄乱了iMacros和其他一些数据抓取“工具”之后,我转向了Python,这是一种我当时并不熟悉的语言。我了解了BeautifulSoup和urllib2,并通过stackoverflow和其他一些论坛学习了我的方法。现在,利用我目前获得的知识,我可以抓取大多数静态网页。然而,我们都知道静态页面的时代已经结束,现在即使是普通

javascript - Web 抓取具有动态 javascript 内容的网站

所以我使用python和beautifulsoup4(我没有绑定(bind))来抓取网站。问题是当我使用urlib获取页面的html时,它不是整个页面,因为其中一些是通过javascript生成的。有什么办法可以解决这个问题吗? 最佳答案 基本上有两个主要选项可以继续:使用浏览器开发工具,查看哪些ajax请求将加载页面并在脚本中模拟它们,您可能需要使用json将响应json字符串加载到python数据结构中的模块使用selenium等工具打开一个真正的浏览器。浏览器也可以是“headless”的,参见HeadlessSelenium

javascript - Jquery 获取每个 div 的子子 div 并将信息抓取到数组中

我有一些看起来像这样的html我想将每个sub_maindiv信息提取到javascript中的数组中。到目前为止,我有这个作为我的jquery代码$('#main').find('.sub_main').each(function(){alert('hi');});警报只是一个测试,它应该显示“hi”两次。但这是行不通的。我也不清楚如何将两个输入存储在javascript数组中。任何帮助都会很棒!谢谢, 最佳答案 vararray=$('#maininput').map(function(){return$(this).val()

javascript - 如何抓取无限滚动页面?

我正在尝试构建可以从具有无限滚动的页面中抓取内容的东西。但是,我无法从第一个“中断”下方获取内容。我该怎么做? 最佳答案 无限滚动几乎总是通过使用AJAX或相关技术在JavaScript中完成的。因此,您的网络爬虫获取HTML并解析它是不够的;它必须下载并执行javascript,或者至少扫描它以查找AJAX调用。执行完整的javascript可能是最好的(即最能保证工作),但也可能是最难做到的。扫描AJAX请求的javascript和/或寻找执行AJAX调用的函数然后进行DOM操作可能是最简单的(相对于完整的JS执行)